Elasticsearch+kibana+fluentd 部署 efk部署文档

efk安装思路

现在公司的项目架构是k8s集群，现在需要对日志进行收集分析，以下为针对k8s集群的日志收集系统的一些思路。

基于efk组件容器日志收集系统

• Fluentd用以收集日志

  1 安装td-agent 别名Fluentd 主要用于日志收集并发送到es中 安装官网教程：http://docs.fluentd.org/articles/install-by-rpm

  2 安装es插件 /usr/sbin/td-agent-gem install fluent-plugin-elasticsearch

  3 修改配置文件 /etc/td-agent/td-agent.conf 记得备份

  4 收集linux系统日志信息 /var/log/messages的 td-agent.conf例子

• Elasticsearch ，简称es 主要用以数据的存储并提供索引与搜索功能

  1 安装es

  - 安装 java yum install -y java
  
  - 从官网下载 es  解压 官方网站（https://www.elastic.co/downloads）

  2 修改配置文件

  • es目录/config/elasticsearch.yml

  • 单节点最关键的俩个参数 http.port: 9200 network.host: 192.168.11.106

  • 另外需要注意 es不能再root用户下运行，所以以上安装需要在普通用户下执行。

  3 启动

  • es目录/bin/elasticsearch 执行运行，详细大家可以加–help参数查看

• kibana搜素与分析

  1 安装kibana

  • 官方网站下载tar包 解压 执行运行即可 官方网站（https://www.elastic.co/downloads） ps:kinbana和es是一个公司出品 有名的是elk集群 不过收集docker日志不方边用Logstash,所以这边使用的Fluentd

  2 修改配置文件

  • kibana/config/kibana.yml 主要的俩个参数为： elasticsearch.url: “http://ES集群访问地址:port" server.port: 对外提供的端口

  3 启动

  • kibana/bin/kibana 直接运行， 详细启动参数，大家可以加 –help参数查看

ohter

netstat -tnlp 可以查看linux只监听的端口